观影大数据分析(上)

您所在的位置:网站首页 vote for和vote against 观影大数据分析(上)

观影大数据分析(上)

2024-01-23 20:53| 来源: 网络整理| 查看: 265

题目

王S聪想要在海外开拓万 D 电影的市场,这次他在考虑:怎么拍商业电影才能赚钱?毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。所以,他就请来了你(数据分析师)来帮他解决问题,给出一些建议,根据数据分析一下商业电影的成功是否存在统一公式?以帮助他更好地进行决策。 解决的终极问题是:电影票房的影响因素有哪些? 接下来我们就分不同的维度分析: • 观众喜欢什么电影类型?有什么主题关键词? • 电影风格随时间是如何变化的? • 电影预算高低是否影响票房? • 高票房或者高评分的导演有哪些? • 电影的发行时间最好选在啥时候? • 拍原创电影好还是改编电影好? 本次使用的数据来自于 Kaggle 平台(TMDb 5000 Movie Database)。收录了美国地区 1916-2017 年近 5000 部电影的数据,包含预算、导演、票房、电影评分等信息。原始数据集包含 2 个文件: • tmdb_5000_movies:电影基本信息,包含 20 个变量 • tmdb_5000_credits:演职员信息,包含 4 个变量 请使用 Python 编程,完成下列问题: (1)使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集,进行数据清洗、数据挖掘、数据分析和数据可视化等,研究电影票房的影响因素有哪些?从不同的维度分析电影,讨论并分析你的结果。 (2)附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息,请你选择合适的指标,进行特征提取,建立机器学习的预测模型,预测 1000 部电影的vote_average 和 vote_count,并保存为 tmdb_1000_predicted.csv。

数据清洗 导入数据 credits = pd.read_csv("tmdb_5000_credits.csv") movies = pd.read_csv('tmdb_5000_movies.csv')

缺失值处理

通过观察可以发现,两个表中存在相同字段。那我们将两张表合并,并找出需要的字段,删去不需要的字段。

# 删除所有不必要的列 del credits['title'] del credits['movie_id'] del movies['homepage'] del movies['spoken_languages'] del movies['original_title'] del movies['overview'] del movies['tagline'] del movies['status'] # 合并两张表 fullDf = pd.concat([movies, credits], axis=1)

查看大表信息

fullDf.info()

缺失记录仅3条,采取网上搜索,补全信息

补全release_data # 找出release_data列缺失值 nanX2 = fullDf['release_date'].isnull() fullDf.loc[nanX2, :] fullDf.loc[4553, 'release_date'] = '2014/06/01'

缺失记录的电影标题为《America Is Still the Place》,日期为2014/06/01。

补全runtime nanX1 = fullDf['runtime'].isnull() fullDf.loc[nanX1, :] # 将查询到的信息填写上去 fullDf.loc[2656, 'runtime'] = '98' fullDf.loc[4140, 'runtime'] = '81'

缺失记录的电影 runtime 分别为98min 和 81min。

重复值处理 sum(fullDf.duplicated()) # 处理重复值 fullDf.drop_duplicates(subset=['id'], keep='first') fullDf.info()

运行结果:有4803个不重复的 id,可以认为没有重复数据。

日期值处理 # 将release_date的数据类型改为日期类型 fullDf.loc[:, 'release_date'] = pd.to_datetime(fullDf.loc[:, 'release_date'], format='%Y-%m-%d', errors='coerce') fullDf.info()

筛选数据

使用数据分析师最喜欢的一个语法:

df.describe()

票房、预算、受欢迎程度、评分为0的数据应该去除; 评分人数过低的电影,评分不具有统计意义,筛选评分人数大于50的数据。

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True') json数据转换 json_cols = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew'] for i in json_cols: fullDf[i] = fullDf[i].apply(json.loads) def get_names(x): return ",".join(i['name'] for i in x) def get_director(x): for i in x: if i['job'] == 'Director': return i['name'] fullDf['genres'] = fullDf['genres'].apply(get_names) fullDf['keywords'] = fullDf['keywords'].apply(get_names) fullDf['production_companies'] = fullDf['production_companies'].apply(get_names) fullDf['production_countries'] = fullDf['production_countries'].apply(get_names) fullDf['cast'] = fullDf['cast'].apply(get_names) fullDf['crew'] = fullDf['crew'].apply(get_director)

数据备份 # 数据备份 fullDf.to_csv("./fullDf.csv", encoding='utf-8', index=False)


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3